本发明公开了一种针对摄像机抖动下运动目标检测的电子稳像方法及系统。该方法包括:对原图像进行高斯模糊并降低分辨率,确定三层图像;基于分块灰度投影法,确定位于最高层且分辨率最低的图像所对应的第一平移运动矢量;基于获得的所述第一平移运动矢量补偿所述中间层图像;基于块匹配法,确定位于中间层的图像所对应的第二平移运动矢量;基于第一平移运动矢量和第二运动平移矢量,补偿位于最低层且分辨率最高的原图像;利用特征匹配法进行运动平滑和补偿。本发明对于动态背景、噪声、大尺度图像运动、旋转及背景的一致性有很好的鲁棒性。在图像质量、视觉效果、计算速度上有优越性,稳像后满足摄像头抖动下运动目标检测的需求。
1.一种针对摄像机抖动下运动目标检测的电子稳像方法,其特征在于,包括如下步骤:分层步骤,对参考帧图像和当前帧图像的原图像分别进行高斯模糊并降低分辨率,分别为所述参考帧图像和当前帧图像确定三层图像,包括:位于最低层且分辨率最高的原图像、中间层图像和位于最高层且分辨率最低的图像;第一运动估计步骤,基于分块灰度投影法,确定所述位于最高层且分辨率最低的当前帧图像的每一块区域相对于位于最高层且分辨率最低的参考帧图像中的每一块区域所对应的运动矢量,进而得到多个运动矢量;在所述多个运动矢量中,去除可能出现运动目标的区域所对应的运动矢量,依据剩下的运动矢量计算第一平移运动矢量;第二运动估计和补偿步骤,基于获得的所述第一平移运动矢量,补偿当前帧图像的中间层图像;在补偿后的所述当前帧图像的中间层图像中,去除所述可能出现运动目标的区域,获得补偿后的当前帧中间层图像;利用块匹配法,得到所述补偿后的当前帧中间层图像相对于参考帧中间层图像的第二运动平移矢量;第三运动估计和补偿步骤,基于第一平移运动矢量和第二运动平移矢量,补偿所述位于最低层且分辨率最高的当前帧图像的原图像,获取补偿后的当前帧原图像;利用特征匹配法对参考帧图像的原图像和所述补偿后的当前帧原图像进行运动平滑和补偿。
2.根据权利要求1所述的电子稳像方法,其特征在于,所述第三运动估计和补偿步骤后还设置有:运动目标提取步骤,基于所述当前帧图像的原图像运动平滑和补偿后的结果,相对于参考帧图像的原图像检测运动目标。
3.根据权利要求2所述的电子稳像方法,其特征在于,所述分层步骤中,所述中间层图像和位于最高层且分辨率最低的图像基于均值滤波的方式获得。
4.根据权利要求3所述的电子稳像方法,其特征在于,所述第二运动估计和补偿步骤中,利用所述第一平移运动矢量的2倍对所述中间层图像进行补偿。
5.一种针对摄像机抖动下运动目标检测的电子稳像系统,其特征在于,包括:分层模块,对参考帧图像和当前帧图像的原图像分别进行高斯模糊并降低分辨率,分别为所述参考帧图像和当前帧图像确定三层图像,包括:位于最低层且分辨率最高的原图像、中间层图像和位于最高层且分辨率最低的图像;第一运动估计模块,用于基于分块灰度投影法,确定所述位于最高层且分辨率最低的当前帧图像相对于位于最高层且分辨率最低的参考帧图像中每一块区域所对应的运动矢量,进而得到多个运动矢量;在所述多个运动矢量中,去除可能出现运动目标的区域所对应的运动矢量,依据剩下的运动矢量计算第一平移运动矢量;第二运动估计和补偿模块,用于基于获得的所述第一平移运动矢量,补偿当前帧图像的中间层图像;在补偿后的所述当前帧图像的中间层图像中,去除所述可能出现运动目标的区域,获得补偿后的当前帧中间层图像;利用块匹配法,得到所述补偿后的当前帧中间层图像相对于参考帧中间层图像的第二运动平移矢量;第三运动估计和补偿模块,基于第一平移运动矢量和第二运动平移矢量,补偿所述位于最低层且分辨率最高的当前帧图像的原图像,获取补偿后的当前帧原图像;利用特征匹配法对参考帧图像的原图像和所述补偿后的当前帧原图像进行运动平滑和补偿。
6.根据权利要求5所述的电子稳像系统,其特征在于,所述第三运动估计和补偿模块后还连接有:运动目标提取模块,用于基于所述当前帧图像的原图像运动平滑和补偿后的结果,相对于参考帧图像的原图像检测运动目标。
7.根据权利要求6所述的电子稳像系统,其特征在于,所述分层模块中,所述中间层图像和位于最高层且分辨率最低的图像基于均值滤波的方式获得。
8.根据权利要求7所述的电子稳像系统,其特征在于,所述第二运动估计和补偿模块中,利用所述第一平移运动矢量的2倍对所述中间层图像进行补偿。技术领域
本发明涉及动态场景图像序列下的运动目标检测,尤其涉及一种针对摄像机抖动下运动目标检测的电子稳像方法及系统。xa0
背景技术
随着人类社会的进步和科技的发展,利用计算机来实现人类的视觉功能成为目前计算机领域中最热门的课题之一。运动目标检测技术的研究是计算机视觉领域的一个重要研究课题。运动目标检测就是对包含运动信息的图像序列运用数字信号处理等技术进行适当处理,检测并提取图像序列中与背景存在相对运动的前景,确定运动目标的位置,其在视频监控、虚拟现实、机器人导航、军事瞄准、电视编辑、医学图像分析等许多领域都有了广泛的应用,因此具有重要的使用价值和广阔的发展前景。xa0但是,由于各种视频应用的场合不尽相同,运动目标所处的环境和背景千变万化,这对运动目标检测算法的适应性和稳健性提出了更高的要求。其中,摄像机抖动下的运动目标检测是视频图像处理领域研究的难点和热点,也日益成为视频图像处理系统实用性和可靠性的一大障碍。摄像机抖动是指由于风、外部震动等因素引起的摄像机镜头发生的偏移或旋转。摄像机抖动会引起相邻图像间发生偏移或旋转,造成图像像素坐标无法一一对应。xa0
发明内容
本发明的目的在于针对摄像头抖动下运动目标检测的需求问题,充分考虑场景中的运动目标对摄像机去抖动算法的影响,提供一种针对摄像机抖动下运动目标检测的电子稳像方法及系统,基于本发明,可以对运动目标检测过程的视频中出现的动态背景、噪声、大尺度图像运动、旋转及背景的一致性有很好的鲁棒特性。xa0本发明一种针对摄像机抖动下运动目标检测的电子稳像方法,包括如下步骤:分层步骤,对参考帧图像和当前帧图像的原图像分别进行高斯模糊并降低分辨率,分别为所述参考帧图像和当前帧图像确定三层图像,包括:位于最低层且分辨率最高的原图像、中间层图像和位于最高层且分辨率最低的图像;第一运动估计步骤,基于分块灰度投影法,确定所述位于最高层且分辨率最低的当前帧图像的每一块区域相对于位于最高层且分辨率最低的参考帧图像中的每一块区域所对应的运动矢量,进而得到多个运动矢量;在所述多个运动矢量中,去除可能出现运动目标的区域所对应的运动矢量,依据剩下的运动矢量计算第一平移运动矢量;第二运动估计和补偿步骤,基于获得的所述第一平移运动矢量,补偿当前帧图像的中间层图像;在补偿后的所述当前帧图像的中间层图像中,去除所述可能出现运动目标的区域,获得补偿后的当前帧中间层图像;利用块匹配法,得到所述补偿后的当前帧中间层图像相对于参考帧中间层图像的第二运动平移矢量;第三运动估计和补偿步骤,基于第一平移运动矢量和第二运动平移矢量,补偿所述位于最低层且分辨率最高的当前帧图像的原图像,获取补偿后的当前帧原图像;利用特征匹配法对参考帧图像的原图像和所述补偿后的当前帧原图像进行运动平滑和补偿。xa0上述电子稳像方法,优选所述第三运动估计和补偿步骤后还设置有:运动目标提取步骤,基于所述当前帧图像的原图像运动平滑和补偿后的结果,相对于参考帧图像的原图像检测运动目标。xa0上述电子稳像方法,优选所述分层步骤中,所述中间层图像和位于最高层且分辨率最低的图像基于均值滤波的方式获得。xa0上述电子稳像方法,优选所述第二运动估计和补偿步骤中,利用所述第一平移运动矢量的2倍对所述中间层图像进行补偿。xa0上述电子稳像方法,优选所述第三运动估计和补偿步骤中,基于仿射模型,进行运动平滑和补偿,其中,仿射模型的参数通过如下方式确定:对参考帧图像的原图像和所述补偿后的当前帧原图像进行尺度不变特征转换特征匹配,找出对应点,代入仿射模型中求出运动参数,实现对当前帧图像的原图像平移和旋转运动的估计;基于运动估计得出的参数,对所述补偿后的当前帧原图像序列进行平滑和补偿;其中,仿射模型由下述公式确定:xa0 x ′ y ′ = a 1 a 2 a 3 a 4 x y + d 1 d 2 , ]]>其中xa0ntent="drawing" img-format="tif" inline="no" orientation="portrait" wi="262"/>分别表示图像中某一像素点在参考帧和当前帧的坐标,d₁,d₂表示xa0ntent="drawing" img-format="tif" inline="no" orientation="portrait" wi="84"/>相对于xa0ntent="drawing" img-format="tif" inline="no" orientation="portrait" wi="74"/>在x轴和y轴的偏移量。a₁~a₄表示旋转参数和小范围的缩放。xa0另一方面,本发明还公开了一种针对摄像机抖动下运动目标检测的电子稳像系统,包括:分层模块、第一运动估计模块、第二运动估计和补偿模块和第三运动估计和补偿模块。其中:xa0分层模块用于对参考帧图像和当前帧图像的原图像分别进行高斯模糊并降低分辨率,分别为所述参考帧图像和当前帧图像确定三层图像,包括:位于最低层且分辨率最高的原图像、中间层图像和位于最高层且分辨率最低的图像;第一运动估计模块用于基于分块灰度投影法,确定所述位于最高层且分辨率最低的当前帧图像相对于位于最高层且分辨率最低的参考帧图像中每一块区域所对应的运动矢量,进而得到多个运动矢量;在所述多个运动矢量中,去除可能出现运动目标的区域所对应的运动矢量,依据剩下的运动矢量计算第一平移运动矢量;第二运动估计和补偿模块用于基于获得的所述第一平移运动矢量,补偿当前帧图像的中间层图像;在补偿后的所述当前帧图像的中间层图像中,去除所述可能出现运动目标的区域,获得补偿后的当前帧中间层图像;利用块匹配法,得到所述补偿后的当前帧中间层图像相对于参考帧中间层图像的第二运动平移矢量;第三运动估计和补偿模块基于第一平移运动矢量和第二运动平移矢量,补偿所述位于最低层且分辨率最高的当前帧图像的原图像,获取补偿后的当前帧原图像;利用特征匹配法对参考帧图像的原图像和所述补偿后的当前帧原图像进行运动平滑和补偿。xa0上述电子稳像系统,优选所述第三运动估计和补偿模块后还连接有:运动目标提取模块,用于基于所述当前帧图像的原图像运动平滑和补偿后的结果,相对于参考帧图像的原图像检测运动目标。xa0上述电子稳像系统,优选所述分层模块中,所述中间层图像和位于最高层且分辨率最低的图像基于均值滤波的方式获得。xa0上述电子稳像系统,优选所述第二运动估计和补偿模块中,利用所述第一平移运动矢量的2倍对所述中间层图像进行补偿。xa0上述电子稳像系统,优选所述第三运动估计和补偿模块中,基于仿射模型,进行运动平滑和补偿,其中,仿射模型的参数通过如xa0下方式确定:对参考帧图像的原图像和所述补偿后的当前帧原图像进行尺度不变特征转换特征匹配,找出对应点,代入仿射模型中求出运动参数,实现对当前帧图像的原图像平移和旋转运动的估计;基于运动估计得出的参数,对所述补偿后的当前帧原图像序列进行平滑和补偿;其中,仿射模型由下述公式确定:xa0 x ′ y ′ = a 1 a 2 a 3 a 4 x y + d 1 d 2 , ]]>其中xa0ntent="drawing" img-format="tif" inline="no" orientation="portrait" wi="262"/>分别表示图像中某一像素点在参考帧和当前帧的坐标,d₁,d₂表示xa0ntent="drawing" img-format="tif" inline="no" orientation="portrait" wi="84"/>相对于xa0ntent="drawing" img-format="tif" inline="no" orientation="portrait" wi="74"/>在x轴和y轴的偏移量。a₁~a₄表示旋转参数和小范围的缩放。xa0相对于现有技术而言,本发明通过采用多分辨率分层方法,分三层对图像进行不同的运动估计和补偿方法,解决了稳像过程中很多的干扰问题:特征匹配法和分块灰度投影法对动态背景、噪声等背景变化比较敏感;块匹配法基于块的直方图特征适应动态背景、噪声等问题,但是块匹配计算复杂度高,受背景区域一致性影响;分块灰度投影法估计运动矢量处理了大尺度图像运动,并避免了运动目标的影响,但对背景变化敏感,图像降低分辨率抑制了局部微弱的背景变化。分块灰度投影法和块匹配法都不能处理图像的旋转,利用特征匹配法估计图像的旋转矢量。xa0本发明对于视频中出现的动态背景、噪声、大尺度图像运动、旋转及背景的一致性都能有很好的鲁棒特性。且相对于其他算法,在图像质量、视觉效果、计算速度上都有一定的优越性,稳像后能够满足摄像头抖动下运动目标检测的实际需求。xa0
附图说明
图1为本发明针对摄像机抖动下运动目标检测的电子稳像方法实施例的步骤流程图;xa0图2为图像的多分辨率分层图示意图;xa0图3为分层多分辨率全局运动估计矢量估计流图示意图;xa0图4为低分辨率图像分块利用投影法获得运动矢量示意图;xa0图5为进行电子稳像之后的前景检测结果图;xa0图6为发生偏移图像的矫正和目标检测比较示意图;xa0图7为序列图像的峰值信噪比比较示意图;xa0图8为本发明针对摄像机抖动下运动目标检测的电子稳像系统实施例的结构框图;xa0图9为本发明针对摄像机抖动下运动目标检测的电子稳像系统实施例的结构框图。xa0
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。xa0参照图1,图1为本发明针对摄像机抖动下运动目标检测的电子稳像方法实施例的步骤流程图,包括如下步骤:分层步骤S110,对参考帧图像和当前帧图像的原图像分别进行高斯模糊并降低分辨xa0率,分别为参考帧图像和当前帧图像的确定三层图像,包括:位于最低层且分辨率最高的原图像、中间层图像和位于最高层且分辨率最低的图像;第一运动估计步骤S120,基于分块灰度投影法,确定位于最高层且分辨率最低的当前帧图像相对于参考帧图像中每一块区域所对应的运动矢量,进而得到多个运动矢量;在多个运动矢量中,去除可能出现运动目标的区域所对应的运动矢量,依据剩下的运动矢量计算第一平移运动矢量;第二运动估计和补偿步骤S130,基于获得的第一平移运动矢量,补偿当前帧图像的中间层图像;在补偿后的当前帧图像的中间层图像中,去除可能出现运动目标的区域,对于剩下的区域,利用块匹配法得到补偿并去除可能出现运动目标区域的中间层当前帧图像相对于参考帧图像的第二运动平移矢量;第三运动估计和补偿步骤S140,基于第一平移运动矢量和第二运动平移矢量,补偿所述位于最低层且分辨率最高的当前帧图像的原图像,获取补偿后的当前帧原图像;利用特征匹配法对参考帧图像的原图像和所述补偿后的当前帧原图像进行运动平滑和补偿。xa0本实施例对于视频中出现的动态背景、噪声、大尺度图像运动、旋转及背景的一致性都具有很好的鲁棒特性;且相对于其他算法,在图像质量、视觉效果、计算速度上都有一定的优越性,稳像后能够满足摄像头抖动下运动目标检测的实际需求。xa0下面结合附图和具体实施方式对本发明作进一步说明。xa0本发明将图像进行高斯模糊并降低分辨率,分为三层,对三层分辨率图像分别进行不同的处理。分别采用灰度投影法、块匹配法、特征匹配法的改进方法对各层图像进行运动估计和补偿。下面分别简单介绍这三种方法。xa01、灰度投影法xa0灰度投影法是利用行列灰度分布进行相关运算的运动估计算法。该算法利用图像的行列灰度投影曲线做一次相关运算获取图像的运动矢量。算法主要由图像映射和相关运算组成。xa01)图像映射xa0对每一帧输入的二维图像使用直方图均衡化进行预处理后,映射成两个独立的一维波形。投影方法可由公式(3)(4)来描述,xa0 G K ( i ) = Σ j G k ( i , j ) - - - ( 3 ) ]]> G K ( j ) = Σ i G k ( i , j ) - - - ( 4 ) ]]>式中G_K(i)、G_K(j)分别为第k帧图像第i行、第j列的各个像素的灰度值之和,G_K(i,j)是第k帧图像上(i,j)位置处的像素灰度值。xa02)相关计算xa0将第k帧图像投影波形与参考图像的投影波形做互相关计算。其中列相关计算可由公式(5)来描述,xa0 C ( w ) = Σ j = 1 N [ Col k ( j + w ) - Col r ( M + j ) ] 2 - - - ( 5 ) ]]>式中,1≤w≤2M+1,Col_k(j),Col_r(j)分别为第k帧图像和参考帧图像的第j列的灰度投影值,N为列的长度,M为位移矢量相对于参考帧在一侧的搜索宽度。xa02、块匹配算法xa0基于块匹配的运动估计,是指将图像帧划分为大小相同的一系列子块,每个子块大小为N×N。对于参考帧中的一个子块,在第k帧中寻找与其大小相同的最相似子块,寻找匹配块的常用的匹配准则有三种,即最小平均绝对差(MAD)、最小均方误差(MSE)和归一化互相关函数(NCCF)。本文采用最小均方误差(MSE)准则进行匹配,可由公式(6)来描述,xa0 MSE ( d ) = 1 N x × N y Σ x = 1 N x Σ y = 1 N y [ I k ( x + d x , y + d y ) - I t ( x , y ) ] 2 - - - ( 6 ) ]]>其中,I_k(x,y),I_t(x,y)表示第k,t帧图像中点(x,y)处的灰度值,d=(d_x,d_y)为平移参数。xa03、特征匹配法xa0基于特征匹配的运动估计算法首先在参考帧中选取特征,然后在后续帧中对特征进行定位,最后利用特征集对应关系,求取全局运动参数。算法基本步骤描述如下:xa0a)特征检测:对图像序列中某一帧图像进行处理,提取图像特征,特征数目为m。xa0b)特征匹配:使用特征标识符、相似度测量以及特征间的空域关系,确定特征在当前帧图像的位置信息。xa0c)变换模型估计:特征量的对应位置关系代入运动模型中联立方程,解超定方程组,求出全局运动矢量。xa0下面结合一个具体的实例,对依据本发明实现运动目标检测的方法进行详细的说明:xa0步骤1:分层步骤xa0为了减少图像局部运动和运动目标移动的影响,发明引入图像金字塔分层的思想,对原图像分三层降低分辨率。因为,低分辨图像可以平滑图像局部运动,减少噪声影响,提高算法实时性,在低分辨率图像中,摄像机抖动引起的小角度图像旋转可被忽略,图像全局运动可简化为平移运动。如图2所示,最低层为原图像,从底层向高层逐渐降低分辨率,一般使用简单的均值滤波,可由公式(7)来描述:xa0 f k ( l + 1 ) ( i , j ) = 1 4 Σ m = 0 1 Σ n = 0 1 f k ( l ) ( 2 i + m , 2 j + n ) 1 = 0,1 , . . . N - - - ( 7 ) ]]>式(7)中,xa0ntent="drawing" img-format="tif" inline="no" orientation="portrait" wi="239"/>表示第k帧的(1+1)层在(i,j)位置的像素值。xa0ntent="drawing" img-format="tif" inline="no" orientation="portrait" wi="88"/>为输入的第k帧图像。xa0步骤2:第一运动估计步骤和第二运动估计和补偿步骤xa0该步骤为低分辨率图像运动估计和补偿。以图像三层结构为基础,图3给出了基于三层结构的图像全局运动估计的流程图。发明将对上面的算法框图中做具体阐述,以下是方法在三层图像的具体实现:xa01.对第3层低分辨率图像进行分块,然后对各分块利用投影法,估计各子块的运动矢量。如图4所示,图中A、B图分别是参考帧和当前帧的图像,当前帧相对于参考帧图像发生了一定的偏移,C图表示了利用分块灰度投影法获得的子区域的运动矢量,其中由于小xa0车的存在,造成了小车所在子区域估计的运动矢量与其他子区域估计的矢量发生较大偏差。对各个子区域运动矢量加和平均,构成的全局运动矢量MV(3),矢量的加和过程,淘汰了出现概率小且与一致运动矢量差异较大的矢量。xa02.对第2层的当前帧图像进行2×MV(3)的全局运动补偿,并对图像进行分块,分块方式与第3层相似,块的个数相同,但是尺寸大一倍,但实际中去除边缘造成的影响,尺寸稍小一些。接下来在第2层找出与第3层子块对应的子区域,对这几个子区域进行块匹配,求取运动矢量并加和平均得到运动矢量MV(2)。利用第2层图像的运动估计矢量MV(2)对矢量MV(3)具有精化补偿作用。xa0步骤3:第三运动估计和补偿步骤xa0该步骤为原始图像运动估计和补偿。对第1层首先利用矢量4×MV(3)和2×MV(2)进行补偿,由于MV(3)和MV(2)矢量只是反应了图像的平移运动,在1层的运动估计中算法将加入对图像旋转参数的估计,算法利用尺度不变特征转换(SIFT)特征匹配找出对应点,代入仿射模型中求出运动参数,实现对图像平移和旋转运动的估计。我们选取n对角点坐标,将坐标代入仿射模型中,可得线性系统方程:xa0ntent="drawing" img-format="tif" inline="no" orientation="portrait" wi="700"/>n对匹配特征,则可以得到一个实数域上的(2n×6)阶线性方程组,方程组的解即为帧间的全局运动参数。而一般情况下所获得的方程个数2n>6,即超定方程组。这种方程组没有通常意义下的解,为此需求方程组的一个最小二乘解。定义能量函数ρ_x,ρ_y:xa0 ρ x = Σ i = 0 N ( a 1 x i + a 2 y i + d 1 - x ′ ) 2 - - - ( 9 ) ]]> ρ y = Σ i = 0 N ( a 3 x i + a 4 y i + d 2 - y ′ ) 2 - - - ( 10 ) ]]>则有:xa0 ∂ ρ x ∂ a 1 = ∂ ρ x ∂ a 2 = ∂ ρ x ∂ d 1 = ∂ ρ y ∂ a 3 = ∂ ρ y ∂ a 4 = ∂ ρ y ∂ d 2 = 0 - - - ( 11 ) ]]>从而可求得参数a₁~a₄,d₁~d₂,通过运动估计得出参数a₁~a₄,d₁~d₂后,代入仿射模型,即可对图像序列进行补偿,可由公式(12)(13)来描述。xa0 x = a 4 * x , - a 2 * y , - d 1 * a 4 + a 2 * d 2 a 1 * a 4 - a 2 * a 3 - - - ( 12 ) ]]> y = a 3 * x , - a 1 * y , - d 1 * a 3 + a 1 * d 2 a 2 * a 3 - a 1 * a 4 - - - ( 13 ) ]]>式中xa0ntent="drawing" img-format="tif" inline="no" orientation="portrait" wi="262"/>分别表示图像中某一像素点在参考帧和当前帧的坐标,d₁,d₂表示xa0ntent="drawing" img-format="tif" inline="no" orientation="portrait" wi="84"/>相对于xa0ntent="drawing" img-format="tif" inline="no" orientation="portrait" wi="74"/>在x轴和y轴的偏移量。a₁~a₄表示旋转参数和小范围的缩放。xa0步骤4:运动目标提取xa0发明采用基于背景减除的方法进行运动目标的提取,来验证稳像效果。首先将当前帧图像与背景图像进行差分运算,然后对差分图像进行二值化操作,若差分图像中像素值大于某一阈值,则判定此像素点属于运动目标区域,否则,就判定此像素点属于背景区域,目标检测结果如图5所示。xa0本发明采用320×240的图像序列为载体,大量的实验表明,我们的方法对于室内外的摄像机抖动下的运动目标检测,都可以达到较好的稳像结果。如图6所示,考虑了运动目标对摄像机去抖动算法的影响,对可能存在运动目标的区域进行了去除,检测的结果优于前面三种算法矫正的结果,其中第三幅图中还含有图像的旋转。图6中,A图表示参考帧图像,B图表示当前帧图像,C图是灰度投影法矫正后图像与A图利用差分法检测的结果,D图是块匹配法矫正后图像与A图利用差分法检测的结果,E图是尺度不变特征转换特征匹配法矫正后图像与A图利用差分法检测的结果,可以看出前面三种方法检测结果检测错误较多,F图是我们的算法矫正后图像与A图利用差分法检测的结果,检测结果中检测错误较少。由结果可以看出,只使用前三种方法没有考虑运动目标对算法的影响,造成了算法估计运动参数发生偏差。xa0图7给出了序列图像中的5帧图像的峰值信噪比值。峰值信噪比是一种性能评定标准,本质上和均方差相同,它反映的是参考帧图像和当前帧图像之间的峰值信噪比,峰值信噪比值越高,视频稳定效果越好。峰值信噪比的定义如下:xa0 PNSR = 10 log 255 2 MSE ( I k , I t ) - - - ( 14 ) ]]>其中MSE(I_k,I_t)均方差,定义如下:xa0 MSE ( I k , I t ) = 1 M × N Σ x = 1 M Σ Y = 1 N [ I k ( x , y ) - I t ( x , y ) ] 2 - - - ( 15 ) ]]>从以上的结果可以看出,本发明提出的方法考虑了运动目标的存在,能够有效的处理含运动目标的摄像机抖动的视频,而且可以高质量的进行电子稳像。对于视频中出现的动态背景、噪声、大尺度图像运动、旋转及背景的一致性都能有很好的鲁棒特性。相对于其他算法,在图像质量、视觉效果、计算速度上都有一定的优越性,该方案运算简单方便,可靠性高,实时性好,能够满足摄像头抖动下运动目标检测的实际需求。xa0另一方法,本发明还公开了一种针对摄像机抖动下运动目标检测的电子稳像系统。参照图8,图8为本发明针对摄像机抖动下运动目标检测的电子稳像系统实施例的结构框图,包括:分层步骤80、第一运动估计步骤82、第二运动估计和补偿步骤84和第三运动估计和补偿步骤86。xa0其中:分层模块80用于对参考帧图像和当前帧图像的原图像分别进行高斯模糊并降低分辨率,分别为所述参考帧图像和当前帧图像的确定三层图像,包括:位于最低层且分辨率最高的原图像、中间层图像和位于最高层且分辨率最低的图像;第一运动估计模块82用于基于分块灰度投影法,确定所述位于最高层且分辨率最低的当前帧图像相对于位于最高层且分辨率最低的参考帧图像中每一块区域所对应的运动矢量,进而得到多个运动矢量;在所述多个运动矢量中,去除可能出现运动目标的区域所对应的运动矢量,依据剩下的运动矢量计算第一平移运动矢量;第二运动估计和补偿模块84用于基于获得的第一平移运动矢量,补偿当前帧图像的中间层图像;xa0在补偿后的当前帧图像的中间层图像中,去除可能出现运动目标的区域,获得第一当前帧中间层图像;对于剩下的区域,利用块匹配法,得到第一当前帧中间层图像相对于参考帧中间层图像的第二运动平移矢量;第三运动估计和补偿模块86基于第一平移运动矢量和第二运动平移矢量,补偿所述位于最低层且分辨率最高的当前帧图像的原图像,获取补偿后的当前帧原图像;利用特征匹配法对参考帧图像的原图像和所述补偿后的当前帧原图像进行运动平滑和补偿。xa0参照图9,图9为针对摄像机抖动下运动目标检测的电子稳像系统另一实施例的结构框图。该实施例在图8的基础上,还连接有运动目标提取模块88,该模块用于基于原图像运动平滑和补偿后的结果,检测运动目标。xa0在一个实施例中,第二运动估计和补偿模块84中,利用第一平移运动矢量的2倍对所述中间层图像进行补偿。xa0在一个实施例中,第三运动估计和补偿模块86中,还包括获取仿射模型参数获取单元,该单元用于:xa0对所述参考帧原图像和所述补偿后的当前帧原图像进行尺度不变特征转换特征匹配,找出对应点,代入仿射模型中求出运动参数,实现对当前帧图像平移和旋转运动的估计;基于运动估计得出的参数,对原图像序列进行平滑和补偿;其中,仿射模型由下述公式确定:xa0 x ′ y ′ = a 1 a 2 a 3 a 4 x y + d 1 d 2 , ]]>其中xa0ntent="drawing" img-format="tif" inline="no" orientation="portrait" wi="262"/>分别表示图像中某一像素点在参考帧和当前帧的坐标,d₁,d₂表示xa0ntent="drawing" img-format="tif" inline="no" orientation="portrait" wi="84"/>相对于xa0ntent="drawing" img-format="tif" inline="no" orientation="portrait" wi="74"/>在x轴和y轴的偏移量。a₁~a₄表示旋转参数和小范围的缩放。xa0以上对本发明所提供的一种针对摄像机抖动下运动目标检测的电子稳像方法及系统进行详细介绍,本文中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。xa0